Retrieval-augmented in-context learning has emerged as a powerful approach for addressing knowledge-intensive tasks using frozen language models (LM) and retrieval models (RM). Existing work has combined these in simple "retrieve-then-read" pipelines in which the RM retrieves passages that are inserted into the LM prompt. To begin to fully realize the potential of frozen LMs and RMs, we propose Demonstrate-Search-Predict (DSP), a framework that relies on passing natural language texts in sophisticated pipelines between an LM and an RM. DSP can express high-level programs that bootstrap pipeline-aware demonstrations, search for relevant passages, and generate grounded predictions, systematically breaking down problems into small transformations that the LM and RM can handle more reliably. We have written novel DSP programs for answering questions in open-domain, multi-hop, and conversational settings, establishing in early evaluations new state-of-the-art in-context learning results and delivering 37-200%, 8-40%, and 80-290% relative gains against vanilla LMs, a standard retrieve-then-read pipeline, and a contemporaneous self-ask pipeline, respectively.
translated by 谷歌翻译
Neural information retrieval (IR) systems have progressed rapidly in recent years, in large part due to the release of publicly available benchmarking tasks. Unfortunately, some dimensions of this progress are illusory: the majority of the popular IR benchmarks today focus exclusively on downstream task accuracy and thus conceal the costs incurred by systems that trade away efficiency for quality. Latency, hardware cost, and other efficiency considerations are paramount to the deployment of IR systems in user-facing settings. We propose that IR benchmarks structure their evaluation methodology to include not only metrics of accuracy, but also efficiency considerations such as a query latency and the corresponding cost budget for a reproducible hardware setting. For the popular IR benchmarks MS MARCO and XOR-TyDi, we show how the best choice of IR system varies according to how these efficiency considerations are chosen and weighed. We hope that future benchmarks will adopt these guidelines toward more holistic IR evaluation.
translated by 谷歌翻译
We present MegaBlocks, a system for efficient Mixture-of-Experts (MoE) training on GPUs. Our system is motivated by the limitations of current frameworks, which restrict the dynamic routing in MoE layers to satisfy the constraints of existing software and hardware. These formulations force a tradeoff between model quality and hardware efficiency, as users must choose between dropping tokens from the computation or wasting computation and memory on padding. To address these limitations, we reformulate MoE computation in terms of block-sparse operations and develop new block-sparse GPU kernels that efficiently handle the dynamism present in MoEs. Our approach never drops tokens and maps efficiently to modern hardware, enabling end-to-end training speedups of up to 40% over MoEs trained with the state-of-the-art Tutel library and 2.4x over DNNs trained with the highly-optimized Megatron-LM framework.
translated by 谷歌翻译
Google，Amazon和Microsoft等提供商提供的商业ML API已在许多应用程序中大大简化了ML的采用。许多公司和学者都为使用ML API用于对象检测，OCR和情感分析等任务。处理相同任务的不同ML API可能具有非常异构的性能。此外，API的基础模型也随着时间的推移而发展。随着ML API迅速成为一个有价值的市场，并且是消耗机器学习的广泛方式，因此系统地研究和比较不同的API并表征API随时间变化的方式至关重要。但是，由于缺乏数据，目前该主题目前没有被忽视。在本文中，我们介绍了HAPI（API的历史），该数据集由1,761,417个商业ML API应用程序（涉及来自亚马逊，Google，IBM，Microsoft和其他提供商的API），包括图像标签，文本识别和文本识别和文本识别和文本，从2020年到2022年的挖掘。每个实例都由API的查询输入（例如图像或文本）以及API的输出预测/注释和置信分数组成。 HAPI是ML API使用情况的第一个大型数据集，并且是研究ML-AS-A-Service（MLAAS）的独特资源。作为HAPI启用的分析类型的示例，我们表明ML API的性能会随着时间的流逝而大幅变化 - 在特定基准数据集上删除了几个API的精度。即使API的汇总性能保持稳定，其误差模式也可以在2020年至2022年之间在不同的数据子类型中转移。这种更改可能会大大影响使用某些ML API作为组件的整个分析管道。随着时间的流逝，我们进一步使用HAPI研究人口亚组的商业API绩效差异。 HAPI可以刺激MLAA的不断发展领域的更多研究。
translated by 谷歌翻译
部署的机器学习（ML）模型经常遇到与培训数据不同的新用户数据。因此，估计给定模型在新数据上的性能是朝着可靠的ML应用程序迈出的重要一步。但是，这是非常具有挑战性的，因为数据分布可以以灵活的方式变化，并且我们可能没有新数据上的任何标签，这在监视设置时通常是这种情况。在本文中，我们提出了一种新的分配移位模型，即稀疏关节移位（SJS），该模型考虑了标签和一些特征的关节移位。这统一并概括了几种现有的偏移模型，包括标签移位和稀疏协变量移位，仅考虑边际特征或标签分布位移。我们描述了SJS可识别的数学条件。我们进一步提出了See，这是一个算法框架，以表征SJS下的分布变化，并估计模型在没有任何标签的新数据上的性能。我们在具有各种ML模型的几个现实世界数据集上进行了广泛的实验。在不同的数据集和分配变化中，看到对现有方法的误差改善（最多达到数量级）的显着（最多）。
translated by 谷歌翻译
近年来，深度神经网络在各种应用领域中都有广泛的成功。但是，它们需要重要的计算和内存资源，严重阻碍其部署，特别是在移动设备上或实时应用程序。神经网络通常涉及大量参数，该参数对应于网络的权重。在培训过程中获得的这种参数是用于网络性能的决定因素。但是，它们也非常冗余。修剪方法尤其试图通过识别和移除不相关的重量来减小参数集的大小。在本文中，我们研究了培训策略对修剪效率的影响。考虑和比较了两种培训方式：（1）微调和（2）从头开始。在四个数据集（CIFAR10，CiFAR100，SVHN和CALTECH101）上获得的实验结果和两个不同的CNNS（VGG16和MOBILENET）证明已经在大语料库（例如想象成）上预先培训的网络，然后进行微调特定数据集可以更有效地修剪（高达80％的参数减少），而不是从头开始培训的相同网络。
translated by 谷歌翻译
以数据为中心的AI是AI社区的一个新的和令人兴奋的研究主题，但许多组织已经构建并维护了各种“以数据为中心的”应用程序，其目标是产生高质量数据。这些范围从传统的业务数据处理应用程序（例如，我们本月每个客户收费多少份数？“）向生产发动机等生产ML系统。近年来，数据和ML工程的领域是为了管理这些应用程序，而且都包括许多有趣的新颖工具和流程。在本文中，我们根据我们的体验数据和ML平台讨论了可能有趣的数据和ML工程，这些课程可以很有趣地应用于数据中心为中心的AI。
translated by 谷歌翻译
神经信息检索（IR）具有极大的搜索和其他知识密集型语言任务。虽然许多神经IR方法将查询和文档编码为单载表示，但后期交互模型在每个令牌的粒度下产生多向量表示，并将相关性建模分解为可伸缩的令牌级计算。这种分解已被证明可以使迟到的交互更有效，但它以幅度的数量级膨胀这些模型的空间占地面积。在这项工作中，我们介绍了Colbertv2，这是一种猎犬，其与去噪的监督策略相结合的侵略性的残余压缩机制，同时提高晚期互动的质量和空间足迹。我们在各种基准中评估COLBertv2，在培训域内和外部建立最先进的质量，同时减少了晚期互动模型的空间足迹5-8 $ \ times $。
translated by 谷歌翻译
本文调查了从紧凑型代表和存储训练参数的角度来看深神经网络（DNN）压缩。我们探讨了用于DNN参数的跨层架构 - 不可知表示共享的先前被忽视的机会。为此，我们从DNN架构中解耦了前馈参数并利用添加量量化，用于图像描述符的极端损耗压缩方法，以紧凑地表示参数。然后，在任务目标上是Fineetune的，以提高任务准确性。我们对MobileNet-V2，VGG-11，Reset-50进行了广泛的实验，具有用于分类，检测和分割任务的修剪培训的Pruned DNN。概念上简单的方案始终如一地优于迭代非结构化修剪。在ILSVRC12分类挑战上以76.1％的高精度应用于Reset-50，它实现了7.2美元的价格，没有准确性损失和15.3美元的准确度。进一步的分析表明，在网络层中可能经常发生表示共享，并且整个DNN的学习共享表示可以以与多个单独的部分压缩模型相同的压缩比以相同的压缩比实现更好的精度。我们释放Pytorch码以促进资源受限设备上的DNN部署，并对DNN参数的有效表示和存储的未来研究。
translated by 谷歌翻译
深度神经网络（DNN）模型和数据集的快速增长大小引起了各种分布策略，如数据，张量模型，管道并行和其混合组合。这些策略中的每一个都提供自己的权衡，并在不同的模型和硬件拓扑上展示最佳性能。选择给定设置的最佳策略集是具有挑战性的，因为搜索空间组合增长，并且在群集上调试和测试昂贵。在这项工作中，我们提出了DISTIR，对于分布式DNN计算，这是针对有效分析而定制的分布式DNN计算的表达中间表示，例如模拟。这使得能够自动识别顶级执行策略，而无需在物理硬件上执行。与事先工作不同，Distir自然可以表达许多分发策略，包括管道并行性，具有任意时间表。我们对MLP培训和GPT-2推理模型的评估演示了DISTIR及其模拟器启用快速网格在跨越1000多种配置的复杂分配空间上搜索，以某些制度的数量级递减优化时间。
translated by 谷歌翻译